Amazon API GatewayのREST APIからLambdaを非同期に呼んでみた

Amazon API GatewayのREST APIから非同期にLambdaを呼び出し、ジョブキュー的にイベントを処理する方法を紹介します。

#Amazon API Gateway

#AWS Lambda

#AWS

quiver

2020.04.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Amazon API Gateway でジョブ系のイベントを受け取る場合、イベントを非同期で処理したいときがあります。

非同期に処理すると、バックエンドの処理が完了するのを待たず、29秒のタイムアウトを気にすることなく即座にクライアントにレスポンスを返せたり、キューイングを利用してより堅牢にイベントを処理できるなど、様々なメリットがあります。

そこで Amazon API Gateway の REST API から非同期に Lambda を呼び出し、ジョブキュー的にイベントを処理する方法を紹介します。

非同期Lambdaでイベントをキュー管理する

非同期呼び出しの場合、イベントはキューで管理されます。

このキューにはエラー発生時に再試行する仕組みが備わっており、イベント処理の成功・失敗に応じて別のサービスにレコードを送信できます。

送信先の失敗設定はデッドレターキューとして利用できるため、イベントをより堅牢に処理できます。

前提

Lambdaの非同期呼び出しは REST API の Lambda 非プロキシ統合でのみ利用できます。

REST API の Lambdaプロキシ統合
HTTP API

では利用できません。

API Gateway から Lambda を非同期に呼び出す

コンソールで設定

Lambda を非同期に呼び出すには、Integration Request の HTTP ヘッダーに以下のフィールドを追加します。

Name : X-Amz-Invocation-Type
Mapping from: 'Event'

Serverless フレームワークで非同期 API を構築

API Gateway を構築するのは手間なので、Serverless フレームワークで構築してみました。

https://github.com/quiver/aws-api-gateway-async-lambda-sample

デプロイ方法

$ serverless install -u https://github.com/quiver/aws-api-gateway-async-lambda-sample
$ cd aws-api-gateway-async-lambda-sample
$ serverless deploy
...
endpoints:
  GET - https://XXX.execute-api.ap-northeast-1.amazonaws.com/dev/sync
  GET - https://XXX.execute-api.ap-northeast-1.amazonaws.com/dev/async
...

3秒かかる処理を用意し

import time

def func(event, context):
    time.sleep(3)
    return {'statusCode': 200,
            'body': 'ok'}

同期(sync)・非同期(async)に呼び出せるようにしてあります。

Serverless フレームワークでは、events の設定で async オプションを true にしたフィールドを追加すると、非同期呼び出しになります。

...
functions:
  func_name:
    handler: filename.hander_name
    events:
      - http:
          path: sync
          method: get
          async: true

同期・非同期の違いを確認

同期・非同期それぞれのエンドポイントを呼び出してみます。

同期呼び出し

$ time curl -s -o /dev/null \
  https://XXX.execute-api.ap-northeast-1.amazonaws.com/dev/sync
curl -s -o /dev/null   0.01s user 0.01s system 0% cpu 3.166 total

同期呼び出しは、バックエンドの処理が完了してからレスポンスを返します。そのため、リクエスト完了に3秒以上かかっています。

非同期呼び出し

$ time curl -s -o /dev/null \
  https://XXX.execute-api.ap-northeast-1.amazonaws.com/dev/async
curl -s -o /dev/null   0.02s user 0.01s system 15% cpu 0.153 total

非同期呼び出しでは、バックエンドを呼び出すと、その処理の成功・失敗を待たずに即座にレスポンスを返します。そのため、リクエスト完了にわずか 0.153 秒しかかかっていません。